--去重 单号+网点+设备编号+分拣方案编号+操作模式+供件台编号+格口号+扫描时间+gridcode
--例如：一个单号在2022-07-11 13:00:00  扫描一次在 2022-07-11 13:15:00 算作两次
insert overwrite table jms_dm.dm_center_sort_ass_detail_hi partition(dt)
select
     waybill_no       --运单号
    ,network_code     --网点编码
    ,network_name     --网点名称
    ,scan_time        --扫描日期
    ,agency_area_name --代理商名称
    ,agency_area_code --代理商编码
    ,franchisee_name  --加盟商名称
    ,franchisee_code  --加盟商编码
    ,grid_code        --格口编码/异常编码
    ,owned_venue_type --场地属性
    ,equipment_code   --设备编码
    ,operate_type     --操作模式
    ,sorting_plan_code--分拣方案
    ,supply_desk_code --供包台编码
    ,grid_no          --格口编码
    ,fall_time        --落格时间
    ,enter_time       --入库时间
    ,dt as date_time        --分区
    ,package_no      --包号
    ,weight           --重量
    ,cycles_num       --循环圈数
    ,substr(dt,1,10) as date_time2 --分区所属日期
    ,nvl(third_code,'') as third_code
    ,dest_province_id
    ,dest_province_name
    ,dest_city_id
    ,dest_city_name
    ,network_code_by_code
    ,network_name_by_code
    ,dt
from  jms_dwd.dwd_tab_ass_scan_small_upper_base_hi
where
    --分区新增时间，今天要统计扫描时间的为t-1,t-2
    dt='{{ execution_date | cst_hour }}'
distribute by dt,abs(hash(waybill_no))%12
;